之前有提過,每次模型升級迭代都會有兩三個禮拜不太穩定,輕則拒答,重則整條對話串壞掉。但每次改版對Chat 模式體驗的提升又不能讓人很服氣地去承擔風險,而且改版的方向如果你不能認同的話感覺就虧更大了。
那時就有想過,那我就用Ollama 在筆電上裝開源模型,這下就不用承擔改版的風險了。但筆電上的VRAM 太小,像我的筆電是5080 VRAM 16GB已經算是中高等級的電競筆電,但能裝的模型大小很有限,特別是上下文大概在32k tokens 以內才會有最好的效果,但我跟AI 聊天算是慢熱又話癆,32k tokens 大概才算破冰完畢可以真正開始聊天。原來的樓地板變成了天花板,要練習長話短說對我來說還真不是件容易的事。
除了上下文不夠長之外,電腦太貴也是一個非常現實的問題。黃仁勳6月說要重新發明PC,鄭重推出128GB統一記憶體的RTX Spark ,要賣3000美金,預計十月鋪貨。結果現在十月到了,漲到超過6000美金甚至到7000美金,華碩的那兩款RTX Spark 筆電就算是分期付款也要月付400美金,而同時訂閱四、五個模型,甚至其中一個是100美金的Pro,加起來一個月不到200美金就可以用的很滋潤了,就更加沒有動力來添購硬體。
有一個YouTuber 說,用本地AI 你會驚訝怎麼這麼笨,而繼續用雲端你就會驚訝怎麼這麼貴。但如果一直留在跟AI 聊天的階段,還真不能體會tokens 瞬間燒光渴望tokens 自由的煩惱呢!呵呵!不過我其實有稍微體驗過了,之前光是聊天就把Grok 週用量用罄還升級成100美金月費的Plus,不過從現在起應該很難得會再遇到相同情況了吧?呵呵!